想本地跑大模型，但打开电商页面一看——从一千多的迷你主机到几万块的 GPU 工作站，都说自己能跑 AI。到底什么设备能跑 7B 模型？什么能跑 13B？什么配置才不会买回来就吃灰？

如果你正打算本地部署大模型，先别急着下单。在此帮你搞清楚：跑不同规模的大模型需要什么算力？各种设备的算力到底够不够？怎么选才能不花冤枉钱？

一、先搞懂一个核心概念：跑大模型到底需要什么算力？

很多人以为“跑 AI”就是看 NPU 或者 GPU 的算力数字（TOPS / TFLOPS），但其实跑大模型有两大关键瓶颈：

瓶颈一：算力（决定推理速度）

• 衡量单位：TOPS（整数）或 TFLOPS（浮点）

• 影响：每秒生成多少个 Token（tokens/秒）

• 门槛：7B 模型至少需要 5~10 TFLOPS 才能流畅对话（>10 tokens/秒）

瓶颈二：显存/内存容量（决定能跑多大的模型）

这是最容易被忽略的瓶颈。一个 7B 模型量化后（Q4_K_M）约需 4~5GB 显存/内存，13B 模型约需 7~8GB。如果内存不够，模型根本加载不了——算力再强也没用。

核心逻辑：内存决定“能不能跑”，算力决定“跑得快不快”。两者缺一不可。

二、常见设备的算力水平解析

①CPU 核显（无独立 NPU/GPU）

代表：Intel N100、N305 的 UHD 核显；AMD R5-6600H 的 Radeon 660M

AI 算力：1~6 TFLOPS（FP16）

能跑多大模型：7B 量化后勉强可跑，速度较慢

适合场景：尝鲜、轻量推理、对速度不敏感

典型代表：华一精品 PB1202（AMD R5-6600H + Radeon 660M）

适合：入门尝鲜、想试试本地大模型但不追求极致速度、同时需要办公/轻度游戏的用户

②带 NPU 的 AI 迷你主机

代表：AMD 锐龙 AI（XDNA2）、Intel Core Ultra（NPU）

AI 算力：10~50 TOPS（INT8）

能跑多大模型：7B~13B 量化后流畅运行

适合场景：企业本地 AI 部署、开发者 AI 应用测试

典型算力参考：

• Intel Core Ultra NPU：~10~20 TOPS

• AMD 锐龙 AI 7/9（XDNA2）：~50 TOPS

③英伟达 Jetson 系列（边缘 AI 盒子）

代表：Jetson Orin NX / Orin Nano / AGX Orin

AI 算力：20~100+ TOPS（INT8）

能跑多大模型：7B 量化后可跑，速度一般

适合场景：嵌入式 AI、机器人、边缘视觉

④入门级独立显卡（RTX 3060 / 4060）

AI 算力：~50~100 TFLOPS（FP16）+ Tensor Core 加速

能跑多大模型：7B~13B 流畅，30B 勉强

适合场景：个人开发者、AI 爱好者、轻量训练

⑤专业 GPU 服务器（A100 / H100 / RTX 4090）

AI 算力：数百~数千 TFLOPS

能跑多大模型：70B~万亿级参数

适合场景：企业级训练、大规模推理集群

三、不同规模模型对设备的最低配置要求

四、一个真实项目案例：某 AI 创业公司的选型历程

我们追踪了一家 AI 创业公司的真实选型过程：

需求：为内部知识库问答系统部署 7B 模型（Qwen2.5-7B），要求数据不出本地，响应延迟 <2 秒，预算有限。

第一轮尝试：用普通办公电脑（Intel i5 + 16GB 内存，无独立 GPU）。结果：模型加载成功，但推理速度仅 1~3 tokens/秒，用户根本无法流畅对话。

第二轮尝试：租用云 GPU（T4）。结果：推理流畅，但月费超过 3000 元，长期成本过高。

第三轮尝试：购入 PB1202（AMD R5-6600H + 16GB 内存）。结果：7B 模型 Q4 量化版推理速度约 8~12 tokens/秒，可满足内部使用需求。一次性投入不到 3000 元，无后续费用。

最终方案：PB1202 作为推理节点，数据完全本地化，已有 3 台部署在不同部门。

五、不同预算下的设备推荐

六、本地部署大模型选型 4 大避坑指南

坑 1：只看 CPU 型号，不看内存和算力

很多人买设备时，盯着 CPU 是 i5 还是 i7，却忽略了——跑大模型最核心的是内存够不够大、有没有 GPU/NPU 加速。一台高配 CPU 但只有 8GB 内存的迷你主机，连 7B 模型都加载不了。

坑 2：买回来才发现内存是板载焊死的

有些迷你主机的内存是 LPDDR 板载的，无法升级。如果你买的时候是 16GB，以后想跑 13B 模型需要 32GB——对不起，换不了，只能整台换新。

避坑：优先选带 SO-DIMM 插槽的型号，或者一开始就买够内存。

坑 3：忽略 NPU 的软件兼容性

有 NPU 不等于能用。AI 推理框架（Ollama、LM Studio 等）对 NPU 的支持还在不断完善中——有的 NPU 在 Linux 下驱动不完善，有的只支持特定框架。买之前先确认你计划使用的推理框架是否支持该 NPU。

建议：如果追求省心，优先选社区支持广泛（如 Ollama 官方支持的平台）的方案。

坑 4：选错散热方案，高负载降频

本地大模型推理是高负载任务——CPU+GPU/NPU 同时工作，热量集中在小体积内。如果散热设计不到位，几分钟就降频，推理速度直接腰斩。

建议：选主动散热（有风扇）方案，体积虽小但要有合理的散热设计。

七、常见问答 FAQ

Q1：没有 NPU 的设备（比如 PB1202）能跑大模型吗？

A：能。 PB1202 虽然没有独立 NPU，但其 AMD Radeon 660M 核显（RDNA2 架构）提供约 5~6 TFLOPS 的 FP16 算力，配合 16GB LPDDR5 统一内存，可运行 7B 模型的 Q4 量化版本，推理速度约 8~12 tokens/秒，达到“可用”水平——不是最快，但足够用于企业内部知识库、个人助手等场景。

Q2：PB1202 能跑 13B 模型吗？

A：13B 模型 Q4 量化后约需 7~8GB 内存，PB1202 的 16GB 内存可以加载，但速度会比 7B 慢一些，约 5~8 tokens/秒，属于“能用但不太流畅”的水平。如果计划长期跑 13B，建议选择 32GB 内存的设备。

Q3：本地部署大模型需要联网吗？

A：不需要。 本地部署的核心理念就是“数据不出本地”——模型文件、推理过程全部在本地设备完成，无需联网。这是相比云端 API 的核心优势（隐私安全 + 无持续费用）。

Q4：Ollama 和 LM Studio 哪个更适合 PB1202？

A：两者都支持 AMD GPU 加速。LM Studio 对 AMD 显卡的支持更友好（开箱即用），适合非技术用户；Ollama 命令行操作，适合开发者，且有更丰富的模型库。

Q5：PB1202 能跑 7B 模型的未量化版本（FP16）吗？

A：16GB 内存不够。 7B 模型 FP16 约需 14GB 显存/内存，加上系统和驱动开销，16GB 设备会内存不足。建议使用 Q4_K_M 量化版本（约 4.5GB），推理速度更快，智能损失约 5%~10%，对于企业应用完全可接受。

Q6：本地大模型的速度怎么衡量？多少算“流畅”？

A：常用指标是 tokens/秒（每秒生成的 Token 数量）：

• <5 tokens/秒：卡顿，打字速度都赶不上，体验差

• 5~10 tokens/秒：可用，能接受（类似手动打字速度）

• 10~20 tokens/秒：流畅（类似慢速阅读）

• 20+ tokens/秒：很流畅（类似快速阅读）

PB1202 跑 7B Q4 模型约 8~12 tokens/秒，属于“可用到流畅”之间。

八、一步到位选型指南

本地部署大模型，选设备的核心是内存决定能不能跑，算力决定跑得快不快。先确定你要跑多大的模型，再反推需要多少内存和算力——而不是反过来，先买了设备才发现跑不动你想要的模型。

如果你预算在 2000~3500 元，想本地部署 7B 模型尝鲜，同时兼顾日常办公和轻度娱乐，华一精品 PB1202（R5-6600H + 16GB LPDDR5 + 0.66L 超小体积）是目前性价比很高的入门选择之一。

华一精品科技有限公司（品牌 Adreamer）

• 14年智能硬件 OEM/ODM 经验 | 国家高新技术企业 | 广东省专精特新中小企业

• 地址：中国广东深圳市龙岗区宝龙三路 16 号宝龙专精特新产业园 3 栋 3-403

• 主营：AI 边缘计算盒子、AI 迷你 PC、AI 智能眼镜、平板、笔电等智能硬件 ODM/OEM

本地大模型部署，从选对算力设备开始。